Generierung von Prüfungsklausuren mittels KI-basierter Large Language Models

Kurzbeschreibung

Künstliche Intelligenz (KI), insbesondere sogenannte Large Language Models (LLMs) wie beispielsweise ChatGPT sind derzeit in aller Munde und prophezeien bahnbrechende Entwicklungen für die Zukunft. Einsatzgebiete im Unternehmenskontext, in denen sich LLMs bereits fest etabliert haben, finden sich insbesondere im Kundenservice, etwa in der Form von Chatbots zur Bearbeitung von Kundenanfragen, bei der Erstellung von Produktbeschreibungen oder der Generierung von Marketingtexten. Ein ebenfalls breites und zunehmend populäres Anwendungsfeld für LLMs ist der Bildungssektor. Vor diesem Hintergrund soll im Rahmen dieses Projektes untersucht werden, in wieweit LLMs dazu geeignet sind, rechtssichere sowie fachinhaltlich fehlerfreie Prüfungsklausuren zu generieren. Eine der zentralen Fragestellungen dabei ist, ob die Unterschiede zwischen den von menschlichen Prüfern und mittels LLM erstellten Prüfungsfragen hinsichtlich verschiedener Gütekriterien signifikant sind. Um dieser Frage nachzugehen, sollen sowohl die Möglichkeiten als auch Grenzen von LLMs aus technischer und wirtschaftlicher Perspektive beschrieben und analysiert werden, wobei der Fokus auf die Generierung von Prüfungsklausuren des Fachbereichs der Betriebswirtschaftslehre gerichtet wird.

Brief Description

Artificial intelligence (AI), in particular so-called large language models (LLMs) such as ChatGPT, are currently on everyone's lips and predict groundbreaking developments for the future. Areas of application in the corporate context in which LLMs have already become firmly established can be found in customer service in particular, for example in the form of chatbots for processing customer inquiries, creating product descriptions or generating marketing texts. Another broad and increasingly popular field of application for LLMs is the education sector. Against this background, this project aims to investigate the extent to which LLMs are suitable for generating legally compliant and error-free examination exams. One of the central questions is whether the differences between the examination questions created by human examiners and those created using LLMs are significant with regard to various quality criteria. In order to investigate this question, both the possibilities and limitations of LLMs will be described and analyzed from a technical and economic perspective, with a focus on the generation of examination exams in the field of business administration.